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© Verfahren zur Bildauswertung. 

© Die Erfindung betrifft ein Verfahren zur Bildauswertung von Bildern einer Videokamera oder eines Fernseh- 
bildes mittels einer Auswerteeinrichtung durch Analyse der Richtungen von Grauwertgradienten, wobei gespei- 
cherte Bildmuster, z.B. Textilmuster oder Fahrzeuge, in dem auszuwertenden Bild ermittelt werden, wobei die 
Grauwertgradienten des Bildes normiert werden, das Histogramm der Gradientenrichtungen gebildet wird. indem 
die Haufigkeit der Gradientenwinkeiwerte in Prozent gegen den Winkelwert, z.B. in einer Tabelle, festgelegt 
werden, die Kreuzkorrelation mit dem Histogramm des gespeicherten Bildmusters durchgefuhrt wird, der 
Winkelwert des Bildmusters urn 1 oder einen beliebigen anderen Wert erhoht (modulo 360) und dieses neue 
Histogramm mit dem Bild kreuzkorreliert wird, diese Matfnahme 360 mal oder entsprechend weniger oft 
wiederholt wird und das Bild mit der hochsten Ubereinstimmung der Kreuzkorrelation ermittelt wird. 
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Verfahren zur Bildauswertung 

Die Erfindung bezieht sich auf ein Verfahren zur Bildauswertung nach dem Oberbegriff des Anspruch 1 , 
wie er aus IEEE Transactions on PATTERN Analysis and machineintelligence PAMI-10 1988 p61 0-625 
bekannt ist. 

Auf dem Gebiet des "Maschinensehens" gibt es zahlreiche Verfahren zur Berechnung struktureiler 
5 Merkmale wie Kanten, Ecken und Fiachen aus Grauwertbildern, die z.B. uber Produktionsregeln mit 
bekannten Testmustern verglichen werden konnen. Daneben gibt es statistische Verfahren, die sich 
insbesondere bei der Textur- und Schriftzeichenerkennung bewahrt haben. Weit verbreitet ist die Korrela- 
tionsmethode fur den Bildvergteich, wobei meistens eine zweidimensionaie Korrelation der Grauwerte von 
zwei Bildern durchgefuhrt wird. Der Nachteil der geschilderten Methoden ist, da/3 entweder der Aufwand bei 
70 der Anwendung auf beliebige naturliche Bilder zu gro/3 ist Oder die oben geschilderten Invarianzeigenschaf- 
ten nicht vorhanden sind. 

Mittels des o.a. bekannten Verfahrens ist jedoch eine Analyse von Bildern nur beschrankt moglich, 
insbesondere sind einzelne zu erkennende Objekte im Bild, z.B. Texturunterscheidungen in Textilmustern, 
Fehier in bearbeiteten Oberflachen, fahrende Fahrzeuge in Videoaufzeichnungen. nicht zu ermitteln. 

75 Aufgabe der Erfindung ist es, das bekannte Verfahren dahingehend zu verbessern, da/3 Testmuster in 
auszuwertenden Bildern erkannt werden, wobei die Umgebung der Testmuster zu keiner Verschlechterung 
der Ergebnisse fuhren soil. 

Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelost, vorteilhafte Ausgestaltungen sind in 
den Unteranspruchen gekennzeichnet. 

20 Das erfindungsgema/te Verfahren baut auf dem o.a. Verfahren auf; dabei werden Bilddaten durch 
Anwendung eines spezielien Gradientenoperators auf beliebige Grauwertbilder erzeugt. Man erhalt ein Bild, 
in welchem fur jeden Bildpunkt der Betrag und die Richtung des Grauwertgradienten mit jeweils 8 bit 
Auflosung vorliegen. Die Gradientenrichtung ist invariant gegenuber Addition und Multiplikation der Bildfunk- 
tion mit Konstanten. Kontrastumkehr bedeutet Addition von 180 Grad zu jedern Richtungswert. 

25 Fur den Bildvergleich wird zunachst das Histogramm der Gradientenrichtuhgen in einem interessieren- 
den Bildfenster gebildet, wobei auf die Gesamtzahl der verwendeten Bildpunkte in diesem Fenster normiert 
wird. Man erhalt eine eindimensionale Funktion: Haufigkeit von Winkelwerten in Prozent vs. Winkelwert. Zur 
Reduktion von Rauschen wird das Histogramm durch Faltung mit einer eindimensionalen Gau/3funktion 
geglattet. Die Standardabweichung wird interaktiv eingelesen. 

30 Danach wird der Vergleich mit anderen Bildfenstern durch Kreuzkorrelation der eindimensionalen 
Histogramme durchgefuhrt. Nach jeder Korrelation werden die Winkelwerte auf der Abzisse des Referenzhi- 
stogramms jeweils urn 1=2° (oder einen beliebigen Wert modulo 360) erhoht und mit diesem 
Histogramm erneut eine Kreuzkorrelation durchgefuhrt und das 180 mal. Mit Hilfe dieses wichtigen Schrittes 
werden mogliche Drehungen des Vergleichs - gegen das Referenzmuster quantitativ erfaflt durch Bestim- 

35 mung des maximalen Kreuzkorrelationskoeffizienten in Abhangigkeit vom Drehwinkel. Hierdurch wird auch 
Invarianz gegenuber Kontrastumkehr erreicht (s.o.). Durch Normierung auf die Gesamtzahl der berucksich- 
tigten Bildpunkte - die Haufigkeit bestimmten Richtungen wird in Prozent angegeben - wird eine Gro/tenin- 
varianz erreicht 

Bei der Suche in Bildern durch einstellbare Verschiebung von Bildfenstern, deren Histogramme mit der 
40 Referenz kreuzkorreliert werden, wird fur jede Fensterposition der Kreuzkorrelationskoeffizient berechnet. 
Anschtie/tend wird vorzugsweise das Bildfenster mit dem gro/tten Zahlenwert (oberhalb einer einstellbaren 
Schweile) ausgewertei oder auch benachbarte mit ahnlichen Werten. 

Das geschilderte Verfahren hat folgende Vorteile gegenuber bestehenden technischen Verfahren: 

1 . Es werden nicht zweidimensionaie, sondern eindimensionale Funktionen (Histogramme) korreiiert, 
45 die sich leicht berechnen lassen und deren Wertebereich unabhangig von der Grofle der verwendeten 

Bilder ist. Dadurch ergibt sich eine erhebliche Aufwandsreduktion, welche technische Anwendungen in 
Echtzeit mit Hilfe heute verfugbarer elektronischer Bausteine ermoglicht. 

2. Dadurch, da/3 nicht (wie beim Bildvergleich ublich) Grauwerte sondern die geglatteten Haufigkeiten 
von Winkelwerten korreiiert werden, ergeben sich Invarianzen gegenuber Drehungen, GroJ3en- und Kontra- 

so standerungen. Dadurch erhalt man ein robustes Detektionsverfahren, bei welchem auch der Einflu/J der 
Umgebung der zu detektierenden Objekte bisher zu keiner nennenswerten Verschlechterung der Ergebnis- 
se gefuhrt hat. 

Im folgenden wird das bekannte Verfahren zum besseren Verstandnis der Erfindung anhand der Abb. 1 
erlautert. Die Erfindung wird dann anhand der Abb. 2 dargestellt. 

In der o.a. Literaturstelle wird ausfuhrlich auf die Problematik der Beschreibung von Grauwertanderun- 
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gen mit Hilfe von Gradientenfiltern variabler Gro/te eingegangen. Es wurde eine Filterbank vorgeschlagen, 
in welcher uber ein Auswahlkriterium automatisch die jeweils beste Maskengro/te bestimmt werden kann. 
Aus Aufwandsgrunden sollte man sich jedoch auf wenige Maskengro/ten beschranken, welche mit Hilfe von 
a priori Wissen bez. der zu bearbeitenden Szene festgelegt werden konnen. Der Grundgedanke fur das im 

5 folgenden beschriebene Verfahren besteht darin, durch eine relativ gro/te Filtermaske Bildrauschen und 
Texturen soweit zu eliminieren, da/3 zusammenhangende Flachen mit mogiichst homogenen Gradienten- 
richtungen entstehen. Diese Flachen sollten wesentlich grosser sein als der verwendete Faltungskern. 
Ortlich sich langsam anderne Grauwertverlaufe werden aufgrund ihrer niedrigen Ortsfrequenz kaum beein- 
flu/tt und lassen sich in dem bandpa/Jgefilterten Bild relativ einfach durch die einheitliche Gradienteneinrich- 

70 tung innerhalb des ansteigenden bzw. abfalienden Bereiches der Grauwertflache detektieren. Schatten und 
Schattierungen fuhren zu einem signifikanten Maximum im Histogramm der Gradientenrichtungen. Dieses 
Maximum kann in Verbindung mit einem gewissen Toleranzbereich dazu benutzt werden, zusammenhan- 
gende Flachen im Bildbereich zu gewinnen und als mogliche Schatten- oder Schattierungsbereiche zu 
charakterisieren. 

is Zur Gradientenberechnung bei den in Abb. 1 gezeigten Beispielen wurden 11x13 Masken verwendet, 
das entspricht einer Standardabweichung von u = 2.0 fur das Gradientenfilter (normierte Ableitung einer 
Gautffunktion). 

Bei dieser Maskengro/te wird das Digitalisierungsrauschen stark vermindert. Die Maske dient zusatzlich 
zur Reduktion storender Texturen innerhalb von Schatten-/Schattierungsbereichen, wobei die Gro/te der 
20 Abschwachung von den betreffenden Ortsfrequenzen abhangt. 

Den weiteren Oberlegungen wird die Haufigkeitsverteilung von Winkelwerten in verschiedenen Bildfen- 
stern zugrundegelegt, deren Gro/te und Position einstellbar ist. Fur Schatten und Schattierungen wird eine 
Vorzugsrichtung der Gradientenrichtung in einem Bildbereich erwartet, der deutlich gro/ter als der Faltungs- 
kern sein sollte. 

25 Fur das Beispiel des PKW in Abb. 1a veranschaulichen Abb. 1b und c) die beschriebene Vorgehens- 
weise. In b) sind die helligkeitskodierten Gradientenrichtungen (siehe Beschreibung weiter unten) darge- 
stellt. Die Konvention fur den Gradientenwinkel geht aus Abb. 1d hervor. Die Gradientenrichtung ist so 
festgelegt, da/3 der Vektor stets von dunkel nach hel! zeigt, wobei der Winkel im Uhrzeigersinn.zunimmt. 
In Abb. 1c ist zusatzlich die Maflnahme b) des Anspruchs 1 bildlich dargesiellt. ^ 

30 Die Auswertung des Histogramms fur den markierten Bildausschnitt in b) ergibt, da/3,95 % der 
Bildpunkte Winkelwerte im Bereich 88 ± 16 Grad haben. Diese Winkeiwerte sind in c) wei/3 dargestellt. Als 
grotfter zusammenhangender Bereich ergtbt sich der Schatten vor dem PKW. Wie aufgrund der Beleuch- 
tungsbedingungen zu erwarten war, ergeben sich zusatzliche Bereiche, z.B. auf der Kuhterqberflache, 
welche Hinweise auf das Vorhandensein langsam veranderlicher Grauwertanderungen liefern. 

35 Im Unterschied zu der bekannten Vorgehensweise werden erfindungsgema/3 nicht signifikante Maxima 

des Winkeihistogramms ausgewertet, sondern das vollstandige Histogramm der Gradientenrichtungen eines 
vorgegebenen Grauwertmusters als Modell oder Referenzmuster verwendet. Die gro/Ue Ahnlichkeit mit 
einem solchen Referenzmuster wird durch eine Kreuzkorrelation mit den Winkelhistogrammen anderer 
Grauwertmuster (Vergleichsmuster in einem Suchbild) ermittelt. Zunachst wird das Histogramm der Gra- 

40 dientenrichtungen in einem interessierenden Bildbereich berechnet. Man erhalt eine eindimensionale 
Funktion: Haufigkeit von Winkelwerten vs. Winkel (Grad). Zur Rauschverminderung wird das Histogramm 
durch Faltung mit einer eindimensionalen Gau/Jfunktion, deren Breite einstellbar ist, geglattet. In Abb. 2b ist 
ein solches geglattetes Histogramm fur die Gradientenrichtungen (c = 1.0) des Kastenwagens in a) 
dargestellt. Die Glattung erfolgte mit einer 1 x 9 Maske (a = 2.0). Die vier Maxima des Histogramms bei 92, 

45 180, 270 und 360 Grad reprasentieren die vertikel und horizontal orientierten Vorzugsrichtungen des 
Fahrzeugs. 

Drehungen des Vergleichs gegenuber dem Referenzmuster lassen sich sehr einfach dadurch beruck- 
sichtigen, daJ3 nach jeder Korrelation die Winkelwerte auf der Abzisse eines der beiden zu korrelierenden 
Histogramme jweils urn 1 oder einen beliebigen anderen Wert modulo 360 Grad erhoht werden und mit 
so diesern Histogramm erneut eine Kreuzkorrelation durchgefuhrt wird. Mit Hilfe dieses Schrittes werden 
mogliche Drehungen der o.g. Muster quantitativ erfa/U durch Bestimmung des maximaten Wertes des 
Kreuzkorrelationskoeffizienten in Abhangigkeit von der oben durchgefuhrten Translation, welche dem 
Drehwinkel entspricht. 

Zur Verdeutlichung der beschriebenen Vorgehensweise soil das folgende Beispiel dienen. Abb. 2a ist 
55 ein Ausschnitt aus dem 1. Bild einer Bildserie, in welcher sich der Kastenwagen weg von der Kamera 
bewegt. Das geglattete Histogramm der Gradientenrichtungen von a) ist in Abb. 2b dargestellt. Dieses 
Histogramm wurde als Referenzmuster verwendet, urn das Fahrzeug im 300. Bild dieser Bildfolge automa- 
tisch zu lokalisieren. Trotz einer GroSenanderung von 3:1 des Fahrzeugs und einer (kOnstlich) durchgefuhr- 
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ten Drehung von 45 Grad. befindet sich der Kastenwagen weitgehend innerhalb des Fensters mit dem 
gro/Jten Kreuzkorrelationskoeffizienten r = 0.869. Die Mitte dieses 90 Spalten und 150 Zeilen groflen 
Vergleichsmusters ist in Abb. 2c durch ein wei/3es Rechteck markiert. Zusatzlich erhalt man das Ergebnis, 
da/3 der hochste Kreuzkorrelationskoeffizient mit dem urn 46 Grad verschobenen Referenzhistogramm 
erzielt wurde. Die ubrigen Rechtecke markieren die Mitten weiterer Vergleichsmuster in diesem 343 Spalten 
x 256 Zeiien gro/ten Suchbild, in weichem mit einer Schrittweite von 70 Spalten und 80 Zeilen ein 90 x 150 
Bildfenster zur Erzeugung von 8 (sich uberlappenden) Vergleichsmustern automatisch verschoben wurde. 
Der Kreuzkorrelationskoeffizient r wird nach folgender bekannten Vorschrift ermittelt, wobei sich die x-Werte 
auf die Daten des Referenzmusters und die y-Werte auf die Daten des Vergleichsmusters beziehen: 

r = ' . ; x, y: Mirtelwerte 

V2_ (x(i)-xr X <y®-y) 



Anspruche 

1. Verfahren zur Bildauswertung von Bildern einer Videokamera Oder eines Fernsehbildes mittels einer 
Auswerteeinrichtung durch Analyse der Richtungen von Grauwertgradienten, wobei gespeicherte Bildmu- 
ster, z.B. Textilmuster oder Fahrzeuge, in dem auszuwertenden Bild ermittelt werden und die Grauwertgra- 
dienten des Bildes.normiert werden, 

dadurch gekennzeichnet, 
da/3 

a) das Histogramm der Gradientenrichtungen gebildet wird, indem die Haufigkeit der Gradientenwin- 
kelwerte in Prozent gegen den Winkelwert, z.B. in einer Tabelle, festgeiegt werden, 

b) die Kreuzkorrelation mit dem Histogramm des gespeicherten Bildmusters durchgefuhrt wird, 

. c) der Winkelwert des Bildmusters urn 1 oder einen beiiebigen anderen Wert erhoht (modulo 360) 
und dieses neue Histogramm mit dem Bild kreuzkorreliert wird, 

d) Maflnahme d 360 mai oder entsprechend weniger oft wiederholt wird, 

e) das Bild mit der hochsten Ubereinstimmung der Kreuzkorrelation ermittelt wird. 

2. Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet, 

da/3 das Histogramm durch Faltung mit einer Gauflfunktion geglattet wird. 

3. Verfahren nach Anspruch 2, 
dadurch gekennzeichnet, 

da/3 Faitungskerne von 5x7 oder 11x13 Elemente verwendet werden. 

4. Verfahren nach Anspruch 1 , 
dadurch gekennzeichnet, 

da/3 zusatzlich das Histogramm des Betrages des Grauwertgradienten und/oder des Grauwertes gebildet 
und die Kreuzkorrelation durchgefuhrt wird. 
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) Original 




b) Grs.dientenrichtung (o=2 . 0) 



Winkelkonvention 




d ) Dem 360 Grad Winkelbereich werden 
180 Grauwerte zugeordnet 



Abb. 1 
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c) WeiBes Quadrat: 
max. Korrelation 
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© Verfahren zur Bildauswertung. 

© Die Erfindung betrifft ein Verfahren zur Bildaus- 
wertung von Bildern einer Videokamera Oder eines 
i Fernsehbildes mittets einer Auswerteeinrichtung 
durch Analyse der Richtungen von Grauwertgradien- 
ten, wobei gespeicherte Bildmuster, z.B. Textilmu- 
ster oder Fahrzeuge, in dem auszuwertenden Bild 
ermittelt werden, wobei die Grauwertgradienten des 
Bildes normiert werden, das Histogramm der Gra- 
dientenrichtungen gebildet wird, indem die Haufig- 
keit der Gradientenwinkelwerte in Prozent gegen den 
Winkelwert z.B. in einer Tabelle, festgelegt werden, 
die Kreuzkorrelation mit dem Histogramm des ge- 
speicherten Bildmusters durchgefuhrt wird, der Win- 
kelwert des Bildmusters urn 1 oder einen beliebigen 
anderen Wert erhoht (modulo 360) und dieses neue 
Histogramm mit dem Bild kreuzkorreliert wird, diese 
Maflnahme 360 mal oder entsprechend weniger oft 
wiederholt wird und das Bild mit der hochsten Uber- 
einstimmung der Kreuzkorrelation ermittelt wird. 
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